PAWBench: How Far Are We from Probabilistically Aligned World Modeling?
PAWBench：视频世界模型概率对齐差距基准
🧭 世界模型评估 · 概率对齐
Shanghai Jiao Tong University · Shanghai AI Laboratory · Krea AI · Hugging Face · Shanghai Innovation Institute
构建50场景基准评估11个视频生成系统，发现无一能稳定复现物理行为的参考概率分布
📌 工作参考价值（4 点）
- 在生成式推荐或用户行为模拟中，不能只看单次生成结果的 plausibility；应增加分布级评估：对同一 context 重复采样，比较生成结果的类别/行为分布与真实分布的校准误差，捕捉模式坍塌与多样性缺失。
- PAWEval 的 outcome-level 思路可直接迁移：把高维生成内容映射到可判定的低维结果空间（如点击/转化/浏览路径类别），再做经验分布对比，避免像素级评估高成本且难判校准。
- 论文测试了语言 prompt、初始噪声、模型训练对预测分布的干预，对推荐系统里用 prompt 工程、采样温度/噪声、RLHF/DPO 调整生成分布有参考价值：应衡量这些干预对分布形状的迁移，而不仅是 top-1 指标变化。
- 若电商团队在训练 LLM/视频生成式的用户轨迹或广告创意世界模型，要注意当前模型即使内容真实，也未必覆盖全部有效行为；需要加入分布正则或多样性约束，避免只学到高频、低风险的输出。